Bendradarbiavimo filtravimas: vartotojų elgsenos atskleidimas personalizuotoms patirtims

Šiandieniniame pasaulyje, kuriame gausu duomenų, vartotojai yra bombarduojami informacija. Nuo el. komercijos platformų, siūlančių milijonus produktų, iki srautinio perdavimo paslaugų, pateikiančių didžiules turinio bibliotekas, didžiulis kiekis gali būti pribloškiantis. Bendradarbiavimo filtravimas (CF) tampa galinga technika, leidžiančia peržvelgti šį triukšmą, prognozuoti vartotojų nuostatas ir teikti personalizuotas patirtis, didinančias pasitenkinimą ir įsitraukimą.

Kas yra bendradarbiavimo filtravimas?

Bendradarbiavimo filtravimas yra rekomendacijų technika, kuri prognozuoja vartotojo interesus, surinkdama daugelio vartotojų nuostatas. Pagrindinis prielaida yra ta, kad vartotojai, kurie sutiko praeityje, sutiks ir ateityje. Iš esmės, ji pasitelkia minios išmintį, kad pateiktų informuotas rekomendacijas. Vietoj to, kad remtųsi prekių savybėmis (turinio pagrindu grindžiamas filtravimas) ar aiškiais vartotojų profiliais, CF sutelkia dėmesį į ryšius tarp vartotojų ir prekių, nustatydamas panašumo modelius ir prognozuodamas, ką vartotojas gali mėgti, remdamasis panašių vartotojų nuostatomis arba panašių prekių populiarumu.

Pagrindiniai principai

CF veikia remiantis dviem pagrindiniais principais:

• Vartotojų panašumas: Vartotojai, turintys panašią praeities elgseną, greičiausiai turės panašias būsimas nuostatas.
• Prekių panašumas: Prekės, kurias mėgo panašūs vartotojai, greičiausiai patiks ir kitiems panašiems vartotojams.

Bendradarbiavimo filtravimo tipai

Yra kelios bendradarbiavimo filtravimo variacijos, kiekviena turinti savo stipriąsias ir silpnąsias puses:

Vartotojo pagrindu grindžiamas bendradarbiavimo filtravimas

Vartotojo pagrindu grindžiamas CF nustato vartotojus, kurie yra panašūs į tikslinį vartotoją, remdamasis jų praeities sąveikomis. Tada jis rekomenduoja prekes, kurias šie panašūs vartotojai mėgo, bet kurių tikslinis vartotojas dar nebuvo matęs. Pagrindinė idėja yra rasti panašaus skonio ir nuostatų vartotojų grupę.

Pavyzdys: Įsivaizduokite vartotoją Brazilijoje, kuris srautinio perdavimo platformoje dažnai žiūri dokumentinius filmus apie laukinę gamtą ir istoriją. Vartotojo pagrindu grindžiamas CF nustato kitus vartotojus Brazilijoje, Japonijoje ir JAV, turinčius panašius žiūrėjimo įpročius. Tada sistema rekomenduoja dokumentinius filmus, kuriuos mėgo šie panašūs vartotojai, bet kurių originalus vartotojas dar nežiūrėjo. Algoritmas turi normalizuoti reitingus, kad vartotojai, paprastai skiriantys aukštesnius balus, neužgožtų tų, kurie yra konservatyvesni savo reitinguose.

Algoritmas:

1. Apskaičiuokite panašumą tarp tikslinio vartotojo ir visų kitų vartotojų. Dažniausios panašumo metrikos apima:
• Kosinuso panašumas: Matuoja kampo tarp dviejų vartotojų vektorių kosinusą.
• Pirsono koreliacija: Matuoja tiesinę koreliaciją tarp dviejų vartotojų reitingų.
• Jaccardo indeksas: Matuoja panašumą tarp dviejų vartotojų įvertintų prekių rinkinių.
2. Pasirinkite k labiausiai panašių vartotojų (grupę).
3. Prognozuokite tikslinio vartotojo reitingą prekei, agreguojant kaimynų reitingus.

Privalumai: Paprasta įgyvendinti ir gali atrasti naujų prekių, kurių tikslinis vartotojas galėjo neatsižvelgti.

Trūkumai: Gali turėti mastelio problemų su dideliais duomenų rinkiniais (visų vartotojų porų panašumo skaičiavimas tampa skaičiavimo požiūriu brangus), ir šaltojo starto problemą (sunku teikti rekomendacijas naujiems vartotojams, turintiems mažai ar visai jokios istorijos).

Prekės pagrindu grindžiamas bendradarbiavimo filtravimas

Prekės pagrindu grindžiamas CF sutelkia dėmesį į prekių panašumą. Jis nustato prekes, panašias į tas, kurias tikslinis vartotojas mėgo praeityje, ir rekomenduoja tas panašias prekes. Šis metodas paprastai yra efektyvesnis nei vartotojo pagrindu grindžiamas CF, ypač su dideliais duomenų rinkiniais, nes prekių-prekių panašumo matrica paprastai yra stabilesnė nei vartotojų-vartotojų panašumo matrica.

Pavyzdys: Vartotojas Indijoje iš internetinio mažmenininko perka tam tikrą indiškų prieskonių mišinio prekės ženklą. Prekės pagrindu grindžiamas CF nustato kitus prieskonių mišinius su panašiais ingredientais ar kulinarijos paskirtimis (pvz., kitus indiškų prieskonių mišinius arba mišinius, naudojamus panašiuose patiekaluose Pietryčių Azijos virtuvėse). Tada šie panašūs prieskonių mišiniai yra rekomenduojami vartotojui.

Algoritmas:

1. Apskaičiuokite panašumą tarp kiekvienos prekės ir visų kitų prekių, remdamiesi vartotojų reitingais. Dažniausios panašumo metrikos yra tos pačios kaip ir vartotojo pagrindu grindžiamame CF (kosinuso panašumas, Pirsono koreliacija, Jaccardo indeksas).
2. Duotam vartotojui nustatykite prekes, su kuriomis jis sąveikavo (pvz., pirko, aukštai įvertino).
3. Prognozuokite vartotojo reitingą naujai prekei, agreguojant panašių prekių reitingus.

Privalumai: Daugiau mastelio nei vartotojo pagrindu grindžiamas CF, geriau sprendžia šaltojo starto problemą (gali rekomenduoti populiarias prekes net naujiems vartotojams) ir linkęs būti tikslesnis, kai yra daug vartotojų ir santykinai mažiau prekių.

Trūkumai: Gali būti ne toks efektyvus atrandant naujas ar nišines prekes, kurios nėra panašios į vartotojo praeities sąveikas.

Modelio pagrindu grindžiamas bendradarbiavimo filtravimas

Modelio pagrindu grindžiamas CF naudoja mašininio mokymosi algoritmus, kad išmoktų vartotojų nuostatų modelį iš sąveikos duomenų. Šis modelis tada gali būti naudojamas vartotojų reitingų prognozavimui naujoms prekėms. Modelio pagrindu grindžiami metodai siūlo lankstumą ir gali efektyviau tvarkyti retus duomenų rinkinius nei atminties pagrindu (vartotojo ir prekės pagrindu grindžiamas CF).

Matricos faktorizacija: Populiari modelio pagrindu grindžiama technika yra matricos faktorizacija. Ji suskaido vartotojo-prekės sąveikos matrica į dvi mažesnio matmens matricas: vartotojo matrica ir prekės matrica. Šių matricų taškinis sandauga aproksimuoja originalią sąveikos matrica, leidžiančią mums prognozuoti trūkstamus reitingus.

Pavyzdys: Įsivaizduokite pasaulinę filmų srautinio perdavimo paslaugą. Matricos faktorizacija gali būti naudojama latentinių funkcijų mokymuisi, kurios atspindi vartotojų nuostatas (pvz., pomėgis veiksmo filmams, pomėgis užsienio filmams) ir prekių charakteristikas (pvz., žanras, režisierius, aktoriai). Analizuodama išmoktas funkcijas, sistema gali rekomenduoti filmus, atitinkančius vartotojo nuostatas.

Privalumai: Gali tvarkyti retus duomenų rinkinius, gali užfiksuoti sudėtingus ryšius tarp vartotojų ir prekių, ir gali būti naudojama prognozuojant reitingus naujoms prekėms.

Trūkumai: Sudėtingesnis įgyvendinti nei atminties pagrindu grindžiami metodai, ir reikalauja daugiau skaičiavimo išteklių modeliui apmokyti.

Implicitinio ir Explicitinio grįžtamojo ryšio tvarkymas

Bendradarbiavimo filtravimo sistemos gali pasinaudoti dviejų tipų grįžtamuoju ryšiu:

• Explicitinis grįžtamasis ryšys: Tiesiogiai pateiktas vartotojų, pavyzdžiui, reitingai (pvz., 1-5 žvaigždutės), apžvalgos ar patinka/nepatinka.
• Implicitinis grįžtamasis ryšys: Išvestas iš vartotojų elgsenos, pavyzdžiui, pirkimo istorija, naršymo istorija, laikas, praleistas puslapyje, ar paspaudimai.

Nors explicitinis grįžtamasis ryšys yra vertingas, jis gali būti retas ir šališkas (vartotojai, kurie labai patenkinti ar labai nepatenkinti, dažniau pateikia reitingus). Implicitinis grįžtamasis ryšys, kita vertus, yra lengviau prieinamas, tačiau gali būti triukšmingas ir dviprasmiškas (vartotojas gali spustelėti prekę, nebūtinai ją mėgdamas).

Implicitiniam grįžtamajam ryšiui tvarkyti naudojami metodai:

• Implicitinio grįžtamojo ryšio traktavimas kaip dvejetainio duomenų (pvz., 1 už sąveiką, 0 už sąveikos nebuvimą).
• Naudojant tokias technikas kaip Bayesian Personalized Ranking (BPR) arba Weighted Matrix Factorization, kad būtų atsižvelgta į implicitinio grįžtamojo ryšio netikrumą.

Šaltojo starto problemos sprendimas

Šaltojo starto problema reiškia iššūkį teikiant rekomendacijas naujiems vartotojams arba naujoms prekėms su mažai ar visai jokios sąveikos duomenų. Tai yra svarbi CF sistemų problema, nes jos remiasi praeities sąveikomis, kad prognozuotų nuostatas.

Siekiant sušvelninti šaltojo starto problemą, galima naudoti kelias strategijas:

• Turinio pagrindu grindžiamas filtravimas: Pasitelkiamos prekių charakteristikos (pvz., žanras, aprašymas, žymos), kad būtų galima pateikti pradinius rekomendacijas. Pavyzdžiui, jei naujas vartotojas išreiškia susidomėjimą mokslinės fantastikos žanru, rekomenduokite populiarias mokslinės fantastikos knygas ar filmus.
• Populiarumo pagrindu grindžiamos rekomendacijos: Naujiems vartotojams rekomenduokite populiariausias prekes. Tai suteikia atskaitos tašką ir leidžia sistemai rinkti sąveikos duomenis.
• Hibridiniai metodai: Derinti CF su kitomis rekomendacijų technikomis, tokiomis kaip turinio pagrindu grindžiamas filtravimas ar žinių pagrindu sistemos.
• Prašyti pradinių nuostatų: Naujiems vartotojams pasiūlyti pateikti keletą pradinių nuostatų (pvz., pasirinkdami jiems patinkančius žanrus ar įvertinę keletą prekių).

Bendradarbiavimo filtravimo vertinimo metrikos

Bendradarbiavimo filtravimo sistemos veikimo vertinimas yra labai svarbus jos efektyvumui užtikrinti. Dažnos vertinimo metrikos apima:

• Tiksliškumas (Precision) ir Grįžtumas (Recall): Matuoja rekomendacijų tikslumą. Tiksliškumas matuoja rekomenduotų prekių, kurios yra aktualios, dalį, o grįžtumas matuoja aktualios prekių, kurios yra rekomenduojamos, dalį.
• Vidutinis vidutinis tiksliškumas (MAP): Apskaičiuoja tiksliškumo balų vidurkį visiems vartotojams.
• Normalizuotas nuolaidų kaupiamasis pelnas (NDCG): Matuoja rekomendacijų reitingavimo kokybę, atsižvelgiant į aktualios prekės vietą sąraše.
• Šaknies vidutinio kvadratinio paklaidos (RMSE): Matuoja skirtumą tarp prognozuotų ir faktinių reitingų (naudojamas reitingų prognozavimo užduotims).
• Vidutinė absoliuti paklaida (MAE): Dar vienas skirtumo tarp prognozuotų ir faktinių reitingų matas.

Svarbu pasirinkti tinkamas vertinimo metrikas, atitinkančias konkrečią taikomąją sritį ir naudojamus duomenis.

Bendradarbiavimo filtravimo taikymo sritys

Bendradarbiavimo filtravimas plačiai naudojamas įvairiose pramonės šakose, siekiant personalizuoti vartotojų patirtis ir pagerinti verslo rezultatus:

• El. komercija: Rekomenduoti produktus klientams pagal jų praeitus pirkimus, naršymo istoriją ir panašių klientų nuostatas. Pavyzdžiui, „Amazon“ plačiai naudoja CF, norėdama pasiūlyti produktus, kurie jums gali patikti.
• Pramogos: Rekomenduoti filmus, TV laidas ir muziką vartotojams pagal jų žiūrėjimo ar klausymosi istoriją. „Netflix“, „Spotify“ ir „YouTube“ visa tai stipriai remiasi CF.
• Socialinė žiniasklaida: Rekomenduoti draugus, grupes ir turinį vartotojams pagal jų ryšius ir interesus. „Facebook“ ir „LinkedIn“ naudoja CF šiems tikslams.
• Naujienų agregatoriai: Rekomenduoti naujienų straipsnius ir istorijas vartotojams pagal jų skaitymo istoriją ir interesus. „Google News“ naudoja CF personalizuoti naujienų srautus.
• Švietimas: Rekomenduoti kursus, mokymosi medžiagą ir mentorius studentams pagal jų mokymosi tikslus ir pažangą.

Hibridinės rekomendacijų sistemos

Daugelyje realaus pasaulio taikomųjų sričių vienos rekomendacijų technikos nepakanka optimaliam rezultatui pasiekti. Hibridinės rekomendacijų sistemos sujungia kelias technikas, kad pasinaudotų jų stipriosiomis pusėmis ir įveiktų jų silpnąsias vietas. Pavyzdžiui, hibridinė sistema gali derinti bendradarbiavimo filtravimą su turinio pagrindu grindžiamu filtravimu, kad išspręstų šaltojo starto problemą ir pagerintų rekomendacijų tikslumą.

Iššūkiai ir svarstymai

Nors bendradarbiavimo filtravimas yra galinga technika, svarbu žinoti apie jos apribojimus ir galimus iššūkius:

• Duomenų retumas: Realaus pasaulio duomenų rinkiniai dažnai turi retus vartotojo-prekės sąveikos duomenis, todėl sunku rasti panašius vartotojus ar prekes.
• Mastelis: Visų vartotojų porų ar prekių porų panašumo skaičiavimas gali būti skaičiavimo požiūriu brangus dideliems duomenų rinkiniams.
• Šaltojo starto problema: Kaip minėta anksčiau, rekomendacijų teikimas naujiems vartotojams ar naujoms prekėms su mažai ar visai jokios sąveikos duomenų yra iššūkis.
• Filtravimo burbulai: CF sistemos gali sukurti filtravimo burbulus, sustiprindamos esamas nuostatas ir apribodamos skirtingų perspektyvų matymą.
• Privatumo problemos: Vartotojų duomenų rinkimas ir analizė kelia privatumo susirūpinimą, todėl svarbu užtikrinti, kad su duomenimis būtų elgiamasi atsakingai ir etiškai.
• Populiarumo šališkumas: Populiarios prekės dažniau rekomenduojamos, sukuriant „turtingas vis turtingesnis“ efektą.

Bendradarbiavimo filtravimo ateities tendencijos

Bendradarbiavimo filtravimo sritis nuolat vystosi, kuriamos naujos technikos ir metodai, siekiant išspręsti esamų metodų iššūkius ir apribojimus. Kai kurios pagrindinės tendencijos apima:

• Giluminis mokymasis: Giliojo neuronų tinklų naudojimas, siekiant mokytis sudėtingesnių ir niuansuotų vartotojų nuostatų bei prekių charakteristikų atvaizdavimų.
• Kontekstą žinančios rekomendacijos: Įtraukimas kontekstinės informacijos, tokios kaip laikas, vieta ir įrenginys, į rekomendacijų procesą.
• Grafų pagrindu grindžiamos rekomendacijos: Vartotojo-prekės sąveikų atvaizdavimas kaip grafas ir grafų algoritmų naudojimas, siekiant rasti aktualias rekomendacijas.
• Paaiškinamoji DI (XAI): Rekomendacijų sistemų kūrimas, kurios gali paaiškinti, kodėl buvo rekomenduota konkreti prekė.
• Teisingumas ir šališkumo mažinimas: Technikų kūrimas, siekiant sumažinti šališkumą rekomendacijų sistemose ir užtikrinti teisingumą visiems vartotojams.

Išvada

Bendradarbiavimo filtravimas yra galinga technika, leidžianti personalizuoti vartotojų patirtis ir pagerinti įsitraukimą įvairiose taikomosiose srityse. Suprasdamos CF principus, technikas ir iššūkius, verslo įmonės ir organizacijos gali pasinaudoti šia technologija, kad savo vartotojams teiktų aktualesnes ir labiau patenkintas patirtis. Kadangi duomenys ir toliau didėja, o vartotojų lūkesčiai dėl personalizuotų patirčių tampa dar didesni, bendradarbiavimo filtravimas išliks svarbia priemone informacijos amžiuje.